Gardner aloitti uransa lyhytelokuvissa, ja hänen ensimmäinen pitkä elokuvansa oli Pettävä varjo kummittelee (1941). Seuraavan viiden vuoden aikana hänen elokuvaroolinsa olivat pieniä sivuosia, joita hän teki muun muassa elokuvissa Niin tapahtui Pariisissa (1942), Minun majesteettini (1943) ja Kolme sydäntä epätahdissa (1944).